Simulating Human Game Play for Level Difficulty Estimation with Convolutional Neural Networks

This thesis presents an approach to predict the difficulty of levels in a game by simulating game play following a policy learned from human game play. Using state-action pairs tracked from players of the game Candy Crush Saga, we train a Convolutional Neural Network to predict an action given a game state. The trained model then acts as a policy. Our goal is to predict the success rate (SR) of players, from the SR obtained by simulating game play. Previous state-ofthe-art was using Monte Carlo tree search (MCTS) or handcrafted heuristics for game play simulation. We benchmark our suggested approach against one using MCTS. The hypothesis is that, using our suggested approach, predicting the players’ SR from the SR obtained through the simulation, leads to better estimations of the players’ SR. Our results show that we could not only significantly improve the predictions of the players’ SR, but also decrease the time for game play simulation by at least 50 times. Referat Simulering av mänskligt spelande för bedömning av spelbanors svårighetsgrad med Convolutional Neural Networks. Den här avhandlingen presenterar ett tillvägagångssätt för att förutse svårighetsgrad av spelbanor genom spelsimulering enligt en strategi lärd från mänskligt spelande. Med användning av tillstånd-handlings par insamlade från spelare av spelet Candy Crush Saga, tränar vi ett Convolutional Neural Network att förutse en handling från ett givet tillstånd. Den tränade modellen agerar sedan som strategi. Vårt mål är att förutse success rate (SR) av spelare, från SR erhållen från spelsimulering. Tidigare state-of-the-art använde Monte Carlo tree search (MCTS) eller handgjorda heuristiker för spelsimulering. Vi jämför vårt tillvägagångssätt med MCTS. Hypotesen är att vårt föreslagna tillvägagångssätt leder till bättre förutsägelser av mänsklig SR från SR erhållen från spelsimulering. Våra resultat visar att vi inte bara signifikant kunde förbättra förutsägelserna av mänsklig SR utan också kunde minska tidsåtgången för spelsimulering med åtminstone en faktor 50.